#Fisher information - AI Papers Daily

Minimally Invasive Steering of Language Models

语言模型的最小侵入式引导

🧭 LLM测试时对齐 · 预logit引导

Johns Hopkins University

MISVO用Fisher信息惩罚预logit干预的局部KL，冻结LLM测试时奖励引导，7项任务6项最佳

📌 工作参考价值（4 点）

对冻结 LLM 的最后隐藏状态加位置特定干预向量，用 Fisher 二次型惩罚诱导分布与参考分布的局部 KL，适合电商文案、广告标题生成时按点击率、GMV 等黑盒奖励在线调整，无需微调模型。
工程上只需用冻结 language-model head 做矩阵-向量积解析计算梯度，轻量可部署到推理链路中，可在 Agent 调优或文案生成后叠加测试时奖励优化，避免重训成本。
局部 KL 正则相比裸奖励优化，能防止输出分布过度偏离原始模型，保持语义连贯性与多样性，适合需要生成质量与业务目标平衡的场景，如搜索广告文案、商品卖点生成。
对于变化快、延迟反馈的奖励信号（用户反馈、转化数据），可借鉴该无参数测试时优化思路，与 Best-of-N 采样结合，提升平均奖励且维持样本多样性。

LLM | 2026-09-24 | cs.LG | score 7/10

漂移约束优化：微调指令模型时方向比距离更重要

🧭 LLM 微调 · 漂移约束 · 方向选择 ★ 深度解读

Shanghai Artificial Intelligence Laboratory · Nanjing University · University of British Columbia

将微调重构为固定行为漂移预算下的方向选择，用层选择调优逆转 QA-only 失效

📌 工作参考价值（4 点）

把「允许的行为漂移」显式作为预算，而不是事后加 KL 惩罚或观察遗忘；在微调电商/搜索/推荐 instruct LLM 时，可先冻结 embedding 与 lm_head，用 anchored KL 评估漂移，避免输出层带来无效分布偏移（论文图6a：训练 lm_head 只增 KL 不提升精度）。
层选择方向搜索可采用两段式配置（如 bottom 4 + top 16，冻结中间层）；连续底部长块 b16 效果差。低漂移预算下 split 配置效率更高，高漂移预算下 contiguous 更优。业务上可先跑少量 layer-subset 探针，按 ΔTask/√KL 选方向。
QA-only/弱监督（如点击、成交标签、无推理过程）微调强 instruct 模型，不要默认全参 SFT；优先试 LoRA 或层选择，可保留通用能力。
选出的有效方向（如 b4t16）可作为后续 RL 初始化，RL 增益更大；在排序/Agent 模型做 SFT+RL 时，可固定该层选择策略再进入 RL。

Training | 2026-09-11 | HF Daily | score 8/10